Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
Skill0.5：面向智能体强化学习 OOD 泛化的技能内化与利用联合优化
🧭 Agent 技能训练 · 内化与利用解耦 ★ 深度解读
East China Normal University · Meituan
提出难度感知路由，将一般技能内化与任务特定技能动态利用解耦，显著提升 LLM 智能体在 ID 与 OOD 场景下的成功率。
📌 工作参考价值（4 点）
- 区分一般技能与任务特定技能：在业务 Agent（如客服、导购）中，可将通用对话策略或跨域推理技能内化到模型，同时动态检索并利用不断更新的业务规则或话术，避免全量外化带来的 prompt 膨胀和全量内化导致的知识冲突。
- 难度感知路由思路：根据任务成功率自动分配优化策略——硬任务用特权技能做蒸馏，中等任务强化学习，简单任务强制使用技能防止捷径学习。这种课程式调度可用于多轮对话 Agent 训练，提升对长尾和新场景的适应。
- 抗捷径学习诊断：通过剥离特定技能后的性能对比（utilization gain）量化技能依赖，并对绕过技能的行为施加负向梯度，可迁移到基于技能/工具调用的 Agent 训练中，确保模型真正学会利用外部能力而非记忆表面模式。
- 解耦训练与推理上下文：训练时利用一般技能进行知识蒸馏，推理时仅保留精简的特定技能，兼顾能力深度和推理效率，可直接用于电商问答、智能推荐对话等对延迟和 token 成本敏感的场景。